“女子被一键脱衣”“合成与明星亲吻” ：警惕数字时代谣言生产与传播的智能化｜热点

◆ ◆ ◆ ◆

上海市社会科学界联合会主办主管

有学术的思想  EXPLORATION AND FREE VIEWS

官网地址     http://www.tsyzm.com

◆ ◆ ◆ ◆

目前本刊只接受《探索与争鸣》网站投稿。请收藏唯一真实官网地址www.tsyzm.com。原编务邮箱[e-mail]停止使用，原投稿邮箱[e-mail]为编务邮箱和应急邮箱。原创文章，未经授权，谢绝转载，如需转载请留言。

编者按

据央视网报道，近日发生多起AI换装或换脸事件，引发公众广泛讨论。其中，在广东广州，一张女子在地铁上的照片被AI“一键脱衣”，造谣图随后在网上广泛传播。无独有偶，此前一网红特效合成师洪某，将电视剧中和女明星有亲密镜头的男主角换成了自己的脸，让不少网友直呼难以接受。上述这些都是AI合成图/视频，仅凭肉眼难以辨别真假。如今，随着AI技术的日益发达以及技术应用的大众化，“有视频也不一定有真相”，智能时代的谣言治理正面临严峻挑战。

本文指出，从当前技术发展与应用来看，以ChatGPT等为代表的人工智能技术不仅可以制造足以以假乱真的文字，还可以大大提高利用深度伪造技术的效率，对图片、声音、视频等各种话语类型进行伪造，实现谣言生产的多模态化，进一步提升谣言的逼真性，催生场景化、沉浸式、具身性的互动与传播，从而迅速提高通过谣言来扰乱认知的能力。面对以ChatGPT为代表的人工智能技术可能带来的信息风险，不能用“用勺子挖运河”的思维一禁了之。事实上，应对ChatGPT等可能带来的谣言生产与传播风险，我们仍离不开人工智能技术的支持。本公众号特推出此文，供读者思考。仅代表作者观点，不代表本公众号立场。

ChatGPT给谣言治理带来严峻挑战

汤景泰｜复旦大学新闻学院教授

本文将刊载于《探索与争鸣》2023年第3期

具体内容以正刊为准

非经注明，文中图片均来自网络

汤景泰

随着各类社会化媒体平台的迅猛发展，谣言的传播规模愈来愈大，并产生了广泛的社会政治经济影响。在学界研究中，谣言常常与假新闻、误传、流言等概念混淆，而事实性、意图性是区分各个概念内涵的两个关键维度。“误传”一般是指因疏忽、无意识的偏见而传播的不实信息；“流言”一般指未经证实的广泛传播的消息。综合相关研究和这些概念在中国的应用语境，本文所称的“谣言”指故意制造出来的，欺骗、误导他人的信息。ChatGPT的发展与应用将给谣言治理增加新的挑战。
具体而言，ChatGPT等大语言模型可以直接应用于计算宣传活动，大大提升谣言生产与传播的自动化、智能化水平，从而提高舆论操纵与认知影响的效率与效果。从当前技术发展与应用来看，以ChatGPT等为代表的人工智能技术不仅可以制造足以以假乱真的文字，还可以大大提高利用深度伪造技术的效率，对图片、声音、视频等各种话语类型进行伪造，实现谣言生产的多模态信息结构，进一步提升谣言的逼真性，催生场景化、沉浸式、具身性的互动与传播，从而迅速提高通过谣言来扰乱认知的能力。

ChatGPT等人工智能技术促使谣言生产智能化

人工智能产生谣言的一种方式是通过训练来产生专门用于欺骗和误导人们的文本。在谣言的文本生产上，已经有学者研究发现，深度学习技术所制作的虚假文字评论，不仅令普通人难以辨别真假，更能成功骗过平台方的过滤机制。基于ChatGPT的技术支持，这一过程的效率大大提升。通过向ChatGPT提供大量数据并训练它生成文本，模仿新闻文章或社交媒体帖子的风格和语气，它就可以被用来大规模持续生产相同风格的谣言，目前的技术手段难以辨其真假。

图源：央视网

ChatGPT还可以进一步助推谣言话语的多模态化，使谣言生产实现由单一“口语型”向“多模态型”的转变，从而进一步提升其迷惑性。话语的多模态是指调用了听觉、视觉、触觉等多种感知模态，或者通过语言、图像、声音、动作等多种手段和符号资源进行表达的话语形式。就性质而言，多模态话语是人类感知通道在交际过程中综合使用的结果。谣言自古以来有着鲜明的“口语性”， 即依赖口耳相传。从理论上来看，多模态话语具有单一模态的口语或文字所无法比拟的注意力竞争能力、社会动员能力和形象建构能力。不仅如此，使用多模态话语还可以有效突破主要针对文字的网络审查，更容易得到大范围的传播。此外，文本属性上的“多模态”，也创造了信息本身在认识论和本体论上的分离空间，发挥了为谣言信息真实性增值的效果。具体而言，将原本真实的素材用于另外的语境，以形成移花接木之效。综合而言，在有限的传播空间里，使用多模态话语传播的谣言更丰富、更生动，也更容易规避审查。
人工智能在多模态话语生产方面进展神速。在AI作画方面，通过神经网络模型将图像与文本连接，基于大规模的图文训练集对比学习训练，提取文本与图像特征互相匹配，最终生成关联程度较高的图像。AI 生成图片的基础上，增加插值模型来将图片变成一帧帧流畅的视频动作，用超分辨率模型来提升图像的像素，并通过模型让前后帧之间的过渡动作更加平滑，画质的像素质量更高，最终就可以生成高分辨率和帧率的视频。在这种技术支持下，现在的时代“有视频都未必有真相”。不仅如此，人工智能处理多模态话语的能力还在快速发展。ChatGPT 是纯文本 LLM，比它更强大的是多模态大语言模型（MLLM）。2023年3月，微软团队公布的KOSMOS-1 就是多模态大型语言模型。与 LLM 相比，MLLM 实现了更好的常识推理性能，体现出跨模态迁移对知识获取的助力。基于多模态的大语言模型，谣言以假乱真的能力势必还会有大幅度提升。

ChatGPT等人工智能技术促使谣言传播智能化

在谣言传播中，为了提升谣言的可见性并扩大其影响力，常用的一个方式是部署社交机器人。根据Gorwa的类型学研究，机器人分为网页爬虫、聊天机器人、社交机器人等几种类型。其中，社交机器人一般通过开放的API从第三方应用程序部署和管理自动化的社交账号。在许多研究中，政治社交机器人都被认为数量巨大，在全球范围内实施了诸多计算宣传活动。在传播行为上，这些社交机器人应用Twitter、Facebook等社交网站的深度学习技术，可以通过发帖、点赞、评论、转载等各种行为实现协同引流。但这些传统的机器人操控较为机械，比较容易被识别。例如，印第安纳大学媒体学院与网络科学研究所（IUNI）联合开发的工具Botometer，就可以通过API调用模型对目标推特账户的自动化程度评分，得分超过50%，通常被认为该账户“对严谨的分析来说是可疑的”。但基于ChatGPT等技术，机器人的操控技术却可以实现质的飞跃。乔治城大学团队研究发现，GPT-3人工智能系统能够围绕某一宣传任务，自主选择重要交谈对象、自动生成内容，并展开对话与说服工作。这种系统可以将具有针对性的谣言的生产缩短到几分钟内，并且在模仿特定的文风与情绪上有着不俗的表现。此外，使用人工制作或机器辅助人工等混合方法开展的谣言传播活动也是计算宣传活动中的主要策略之一。这涉及到两类特殊主体：首先是“喷子”，这类主体实际并非机器人，而是相关组织机构专门雇佣以假扮正常用户的人员；另一类则是更为复杂的“电子人”或者混合账号，也就是将自动化和人工管理结合起来的账户。在ChatGPT等技术支持下，可以给这类账号提供内容生产和运营策略指引，不仅可以降低谣言的生产成本和技术门槛，而且还可以实现“人机协同”的智能化传播模式。经过这种转换之后，再加上各种不同意图和偏见的主体的协同传播，谣言事实上会成为一个混合复杂性质的动态“信息链”。

ChatGPT难以避免“幻觉”及翻译问题

语言模型是无意识的模仿者，并不理解自身在说什么。从技术原理来看，以ChatGPT等为代表的大语言模型难以避免的“幻觉”会造成对真实性的污染，使得未来的谣言治理面临更严峻的挑战。因为数据质量与技术的限制，ChatGPT也难以避免幻觉现象。所谓“幻觉”，最早用于图像合成等领域，用于描述诸如图像检测时检测到虚假或错误目标等现象，后来沿用到自然语言生成任务时的类似现象，指的是自然语言处理模型生成自然流畅，语法正确但实际上毫无意义，或包含谣言，就像人产生的幻觉一样。
这种“幻觉”导致ChatGPT在交互中会生成不少的事实性错误，有时对一些简单问题也会“一本正经的胡说八道”。纽约大学教授Gary Marcus认为，尽管ChatGPT能够生成合乎语言逻辑的内容，但这些内容本身并不一定真实。不过，在隔行如隔山的今天，这种似是而非的内容对非专业用户却具有极大的迷惑性。例如，网络疯传一条关于某地政府要取消限行的“新闻稿”，后被警方证实其实是ChatGPT所作，并被不明就里的网络用户大规模转发。不仅如此，随着现代科学的蓬勃发展，科学技术的先进性与权威性已经深度捆绑，并植入到了大众的脑海之中。ChatGPT因其技术的先进性，还可以利用这种认知惯性，裹挟着科学的威势，在潜移默化中影响特定问题的社会认知。

此外，ChatGPT还具有非常强大的机器翻译功能。但由于机器翻译所学习的语料在一些敏感或关键问题上可能带有一定的偏见，再加上语境适配性方面的问题，ChatGPT很可能因为翻译中的技术性失误，进而给谣言的潜滋暗长提供了温床。例如，“加强管理”是我们的常用词，然而如果直译为“Enhance the management”，在英语语境下会有强烈的暗示性，就是“服从组织纪律”“剥夺个人自由”等情感意味。
已有研究表明，以谣言为代表的各类虚假信息深受现实政治权力结构的影响，是人们深层目的的反映，特别在两极分化、低信任的媒介环境中，情感化、丑闻化、冲突导向的虚假信息内容获更容易得广泛的传播。在传统研究中，谣言常因其权力制衡效果，而被认为具有一定程度的自发性、群众性与合法性。但从计算宣传活动兴起以来，我们也要进一步增强对谣言本质复杂性的认识。可以预见，有了ChatGPT等人工智能技术的加持，未来的谣言治理必将面临更严峻的挑战。

结语

在现代社会，各类新技术一度被视为是“解蔽世界的力量”而被寄予厚望，但历史却展现了众多事与愿违的结果。人工智能技术也在营造自己的神话，但一些技术非但没有受到社会的控制，反而成为了控制社会的工具。面对以ChatGPT为代表的人工智能技术可能带来的风险，我们当然不能用“用勺子挖运河”的思维一禁了之。事实上，应对ChatGPT等可能带来的谣言生产与传播风险，我们仍离不开人工智能技术的支持。具体而言，可以从以下方面进行努力。
第一，提升对谣言活动的主体行为与信源识别能力。虽然谣言文本的内容越来越难以识别，但在计算宣传活动中，无论智能化水平达到什么程度，其谣言传播行为都会存在一定的模式。具体在实践中，常见的行为策略在于制造虚假的民意数据，包括制造话题标签趋势、推广相关任务或组织制作的信息（包括竞选广告等）、发布“点击诱饵”链接引流等。如果进行行为数据的分析与挖掘，则可以发现其集群行为、发送的信源等存在一定的模式化特征。因此，基于人工智能技术，从谣言传播主体的基本特征、集群行为、发布信源等方面开展事实核查，可以有效制衡谣言的智能化传播。
第二，基于内容特征与话语特征强化谣言识别能力。对于谣言内容层面的研究，主题模型等文本挖掘方法依然是广泛采用的计算方法，虽然主题关键词本身依然依赖于研究者的解读，而且主题是从数据自下而上的直接归纳，往往只适合用于初步的探索，但主题模型的使用能够帮助快速定位相似的可疑内容，以及掌握谣言传播常见的主题类型。除此之外，基于词频或文本相似度的计算方法也被广泛应用，通过相似度对比，人们可以发现拼接而成的虚假信息。除了文本主题与相似度可直接观测的特征，还存在文本的话语特征，如叙事框架、意识形态、情感类型等，也都是值得探索的谣言识别领域。
第三，进一步强化事实核查能力并构建国际协同机制。无论是主体与信源识别，还是内容识别，工具所带来的只能是概率判断的参考，信息真伪的核查本质上依然离不开人的集体参与。自2016年英国脱欧与特朗普赢得美国大选等事件之后，后真相政治的问题获得高度重视。在此背景下，国际范围内的事实核查机构发展迅猛，从作为新闻媒体的附属部门向独立的组织机构扩展，并形成了多种力量为主导的模式。除了建立起多主体的事实核查联盟，还要以项目为中心构建起合作机制，形成一系列的事实核查标准体系。面对着国际事实核查运动的快速发展，我国建立一个多主体广泛参与的事实核查协同机制，积极参与国际事实核查活动，为辟谣积累高信任度的社会资本，是大势所趋。
需要强调的是，谣言的传播动因和心理机制有着复杂的社会基础，其根本症结在于难以弥合的社会分歧，新闻的真实性与客观性被解构，人们更愿意相信符合群体心理预期和情感的信息。因此，破解谣言的根本在于建构一个可沟通性更强的社会。

有学术的思想 有思想的学术 

聚焦中国问题 

秉持人文立场

人文社科学者的平台

欢迎一起“探索与争鸣”

目录 2023.01 ｜2022.12｜2022.11｜2022·10 ｜ 2022.09 ｜2022.08 ｜2022.07 ｜2022.06 ｜2022.05 ｜2022.04  ｜2022.03 ｜2022.02  ｜2022.01  热点  区块链|未成年人犯罪|5G|《长安十二时辰》|知识付费|留守儿童|巴黎圣母院大火|《流浪地球》|开放二胎|“佛系青年”  人物  鲁迅|施蛰存|王元化|费孝通|陈旭麓|金庸|哈贝马斯  学者  陈平原|杜维明|葛剑雄|何怀宏|季卫东|罗伯特·帕特南|沈志华|王汎森|乐黛云  观念  天下|祖国|信任|“五四·青年”|人文危机|涂层正义|全球文明  专栏 重识中国与世界|城市与文明|人工智能与未来社会  会议 数字加密货币|江南文化与城市发展创新| “科幻景观·文化· 媒介”学术论坛|大学治理使命| 网络时代知识付费与知识获取| “城市与情感”第二届中国城市问题（上海）论坛青年论坛  青年  第三届全国青年理论创新奖|第二届全国青年理论创新奖|精彩感言|优秀青年学人支持计划·第一期|优秀青年学人支持计划·第二期|青年学人优秀论文支持计划  学术圈  学术写作|高校工作时间|学术晋升机制|假期|救救博士生|“青椒”的焦虑|学术圈的“第三世界”|开题报告怎样写